แท็ก

#Local AI

8 บทความ

gpu-unlock: kernel module โอเพนซอร์สที่ปลดล็อกอัตรา FP16/BF16 (สะสมผลแบบ FP32) ของการ์ด RTX 30 ให้เท่ารุ่นมืออาชีพ ผู้ใช้รายงาน BF16 GEMM เร็วขึ้น 25–80% และ prefill ของ LLM เร็วขึ้น 14–36% แต่ decode แทบไม่เปลี่ยน
เครื่องมือนักพัฒนา

gpu-unlock: kernel module โอเพนซอร์สที่ปลดล็อกอัตรา FP16/BF16 (สะสมผลแบบ FP32) ของการ์ด RTX 30 ให้เท่ารุ่นมืออาชีพ ผู้ใช้รายงาน BF16 GEMM เร็วขึ้น 25–80% และ prefill ของ LLM เร็วขึ้น 14–36% แต่ decode แทบไม่เปลี่ยน

gpu-unlock 1.0.0 เป็น Linux kernel module (GPL-2.0) ที่สั่งปลดล็อกการ์ด GA102/103/104/106 ก่อนไดรเวอร์ NVIDIA จะ bind ทำให้ FP16/BF16 แบบสะสมผล FP32 ทำงานเต็มอัตราเหมือนการ์ดมืออาชีพ ผลจากผู้ใช้: RTX 3090 Ti BF16 จาก 87.5 เป็น 157.4 TFLOPS และ vLLM prefill บน 3090 เร็วขึ้น 33% แต่ต้องปิด Secure Boot และยังไม่มีการรับรองจาก NVIDIA

· อ่าน 5 นาที
Ollama 0.40.11 พูดได้แล้ว — เพิ่ม text-to-speech บน macOS พร้อม endpoint /v1/audio/speech แบบ OpenAI ใช้โมเดล Phonon ของ Gradium ขนาด 31M (Apache-2.0) แต่รุ่น 40M หลายภาษาเป็น non-commercial และยังไม่มีภาษาไทย
เครื่องมือนักพัฒนา

Ollama 0.40.11 พูดได้แล้ว — เพิ่ม text-to-speech บน macOS พร้อม endpoint /v1/audio/speech แบบ OpenAI ใช้โมเดล Phonon ของ Gradium ขนาด 31M (Apache-2.0) แต่รุ่น 40M หลายภาษาเป็น non-commercial และยังไม่มีภาษาไทย

24 ต.ค. 2026 Ollama 0.40.11 เพิ่มการสร้างเสียงพูดบน macOS: ollama run phonon อ่านข้อความหรือคำตอบของแชตโมเดลออกเสียงแบบสตรีม และแอปเรียกผ่าน /v1/audio/speech ที่เข้ากันได้กับ OpenAI ได้ โมเดลเริ่มต้นคือ Phonon 31M ภาษาอังกฤษของ Gradium (Apache-2.0, ใช้หน่วยความจำ 121 MB) ส่วนแพ็กเกจปัจจุบันต้องใช้ Apple Silicon

· อ่าน 4 นาที
Block เปิดตัว Dessa โมเดลสนทนาเสียงแบบ full-duplex ที่เทรนจากเสียงพูดของคนล้วนๆ ไม่ใช้ข้อความหรือโมเดล pretrained เลย — เคลมรันบน MacBook Pro M4 Max ได้, เทรนบน GB200 NVL72 ชุดเดียว แต่ยังไม่มีให้ดาวน์โหลด ไม่มีขนาดโมเดล ไม่มี benchmark
โมเดลใหม่

Block เปิดตัว Dessa โมเดลสนทนาเสียงแบบ full-duplex ที่เทรนจากเสียงพูดของคนล้วนๆ ไม่ใช้ข้อความหรือโมเดล pretrained เลย — เคลมรันบน MacBook Pro M4 Max ได้, เทรนบน GB200 NVL72 ชุดเดียว แต่ยังไม่มีให้ดาวน์โหลด ไม่มีขนาดโมเดล ไม่มี benchmark

ทีมวิจัยเล็กๆ ใน Block เปิดตัว Dessa (เผยแพร่สู่สาธารณะ 23 ต.ค. 2026) เป็นโมเดล speech-to-speech แบบ full-duplex ที่เทรนจากศูนย์ด้วยบทสนทนาเสียงของคนเท่านั้น ไม่มีข้อความและไม่มีโมเดล pretrained ฟังและพูดพร้อมกันได้ แทรกคำตอบรับ หัวเราะกลางประโยค และเคลมว่ารันในเครื่อง MacBook Pro M4 Max ได้เร็วกว่า real time แต่ตอนนี้มีเพียงคลิปเดโมกับ waitlist ไม่มีขนาดโมเดล ไม่มี benchmark และไม่มี license

· อ่าน 4 นาที
Black Forest Labs ปล่อย FLUX 3 Image Klein น้ำหนักเปิด 5.6B: สร้างและแก้ภาพในโมเดลเดียว รองรับภาพอ้างอิง 10 ภาพและ bounding box รันบนการ์ด 8GB ได้ผ่าน INT8 — แต่ต้องมี prompt upsampler และไลเซนส์มีเพดานรายได้ $5M
โมเดลใหม่

Black Forest Labs ปล่อย FLUX 3 Image Klein น้ำหนักเปิด 5.6B: สร้างและแก้ภาพในโมเดลเดียว รองรับภาพอ้างอิง 10 ภาพและ bounding box รันบนการ์ด 8GB ได้ผ่าน INT8 — แต่ต้องมี prompt upsampler และไลเซนส์มีเพดานรายได้ $5M

Black Forest Labs ปล่อย FLUX 3 Image Klein เมื่อ 15 ต.ค. 2026 เป็นโมเดลภาพน้ำหนักเปิดขนาด 5.6B ที่ทำได้ทั้งสร้างภาพจากข้อความ แก้ภาพ และผสมภาพอ้างอิงสูงสุด 10 ภาพ พร้อมควบคุมตำแหน่งด้วย bounding box มีทั้งรุ่น base สำหรับ fine-tune และรุ่น distilled 16 สเต็ป รุ่น INT8 รันบน RTX 8GB ผ่าน ComfyUI ได้ แต่การ์ดโมเดลเตือนว่าห้ามใช้โดยไม่มี prompt upsampler และไลเซนส์ FLUX Kommunity ให้ใช้เชิงพาณิชย์ฟรีเฉพาะองค์กรรายได้ต่ำกว่า $5M

· อ่าน 4 นาที
NVIDIA เปิด DGX Spark รุ่น 64GB เริ่ม $4,999 วางขาย 23 ต.ค. ผ่าน 6 แบรนด์ — แรมลดครึ่ง ต่อ 2 เครื่องเป็น 128GB ได้ด้วย Sync Cluster Assistant
ผลิตภัณฑ์

NVIDIA เปิด DGX Spark รุ่น 64GB เริ่ม $4,999 วางขาย 23 ต.ค. ผ่าน 6 แบรนด์ — แรมลดครึ่ง ต่อ 2 เครื่องเป็น 128GB ได้ด้วย Sync Cluster Assistant

NVIDIA ประกาศ DGX Spark รุ่นหน่วยความจำ 64GB เมื่อ 2 ต.ค. 2026 ราคาเริ่ม $4,999 ขายผ่าน Acer, ASUS, Dell, Gigabyte, HP และ MSI ตั้งแต่ 23 ต.ค. ใช้ชิป GB10 และซอฟต์แวร์ชุดเดียวกับรุ่น 128GB รองรับโมเดลถึง 100B พารามิเตอร์ และต่อ 2 เครื่องรวมแรมเป็น 128GB ผ่าน NVIDIA Sync Cluster Assistant

· อ่าน 4 นาที
Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5
เครื่องมือนักพัฒนา

Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5

22 ก.ย. Hugging Face ประกาศว่า transformers (ตอนนี้ต้องติดตั้งจาก main) โหลดไฟล์ GGUF แบบ quantize แล้วรันได้เลยผ่าน from_pretrained(gguf_file=...) และ transformers serve โดยเรียก kernel Metal ของ ggml ผ่านไลบรารี kernels บน M2 Max ได้ 70.4 tok/s กับ Qwen3.5-4B Q4_K_M เทียบกับ llama.cpp ที่ 71.8 แต่ยังรองรับแค่ Apple Silicon และสถาปัตยกรรม Qwen3.5/Qwen3.8 และทีมยังแนะนำให้ใช้ llama.cpp ถ้าต้องการความเร็วสูงสุด

· อ่าน 5 นาที
VoiceStudio แอปเสียง AI แบบรันในเครื่อง ทางเลือกแทน ElevenLabs ที่มีดาวเกือบ 30k: โคลนเสียง พากย์วิดีโอ และ API ที่เข้ากับ OpenAI ได้ในแอปเดียว — แต่ engine ค่าเริ่มต้นใช้ weights ที่ห้ามใช้เชิงพาณิชย์
เครื่องมือนักพัฒนา

VoiceStudio แอปเสียง AI แบบรันในเครื่อง ทางเลือกแทน ElevenLabs ที่มีดาวเกือบ 30k: โคลนเสียง พากย์วิดีโอ และ API ที่เข้ากับ OpenAI ได้ในแอปเดียว — แต่ engine ค่าเริ่มต้นใช้ weights ที่ห้ามใช้เชิงพาณิชย์

VoiceStudio (ชื่อเดิม OmniVoice-Studio) เป็นแอป AGPL-3.0 ที่รวม TTS 16 engine และ ASR 11 engine ไว้ในแอปเดียว ทำได้ทั้งโคลนเสียง ออกแบบเสียง พากย์วิดีโอ และทำ audiobook บนเครื่องตัวเอง มี API ที่เข้ากับ OpenAI และ MCP server ให้ใช้ ตอนนี้มีดาวราว 29.6k รุ่นล่าสุดคือ v0.5.2 (10 ก.ย.) แต่ engine ค่าเริ่มต้นคือ OmniVoice ซึ่ง weights เป็น CC-BY-NC ถ้าจะใช้งานเชิงพาณิชย์ต้องเปลี่ยน engine

· อ่าน 5 นาที
Lattice: โมเดล retrieval ขนาด 7.94 MB ที่ฝัง Wikipedia อังกฤษทั้ง 6.4 ล้านบทความบน MacBook Air ได้ใน 7 นาที
โมเดลใหม่

Lattice: โมเดล retrieval ขนาด 7.94 MB ที่ฝัง Wikipedia อังกฤษทั้ง 6.4 ล้านบทความบน MacBook Air ได้ใน 7 นาที

Lattice คือ static retriever ที่ไม่มี transformer เลย — แค่ตาราง embedding 30,522 × 1,024 กับ mean pooling ทำได้ 0.4697 NDCG@10 บน BEIR ที่ขนาดไฟล์ 7.94 MB และ 9.52 ล้านโทเคน/วินาทีบน CPU ปล่อยครบทั้ง training pipeline และ runtime ภาษา Rust ใต้ MIT

· อ่าน 5 นาที